Khi hoàn tất, Shirakumo được phân về Hải đội Khu trục 11 thuộc Hạm đội 2 Hải quân Đế quốc Nhật Bản. Trong cuộc Chiến tranh Trung-Nhật, Shirakumo được phân công tuần tra dọc theo bờ biển miền Nam Trung Quốc, và đã tham gia vào việc Chiếm đóng Đông Dương thuộc Pháp vào năm 1940.

Vào lúc xảy ra cuộc tấn công Trân Châu Cảng, Shirakumo được phân về Hải đội Khu trục 12 của Đội khu trục 3 thuộc Hạm đội 1 Hải quân Đế quốc Nhật Bản và được bố trí từ Quân khu Hải quân Kure đến cảng Samah trên đảo Hải Nam. Từ ngày 4 tháng 12 đến hết năm 1941, Shirakumo hỗ trợ cho cuộc đổ bộ lực lượng Nhật Bản lên Malaya và Borneo, và đã cứu vớt những người sống sót trên chiếc tàu khu trục Sagiri bị chìm do trúng ngư lôi vào ngày 23 tháng 12.[6]

Vào tháng 2 năm 1942, Shirakumo nằm trong thành phần hộ tống cho tàu tuần dương hạng nặng Chokai trong các chiến dịch chiếm đóng Banka-Palembang và quần đảo Anambas, đã đánh chìm một tàu rải dây cáp Anh ngoài khơi Singapore vào ngày 14 tháng 2. Sau đó Shirakumo gia nhập lực lượng chiếm đóng Tây Java, và đã hiện diện trong trận chiến eo biển Sunda vào ngày 1 tháng 3, trợ giúp vào việc đánh chìm tàu tuần dương Australia HMAS Perth và tàu tuần dương Hoa Kỳ USS Houston.[7]

Vào ngày 10 tháng 3, Shirakumo được phân về Hải đội Khu trục 20 của Đội khu trục 3 thuộc Hạm đội 1, và sau đó đã tham gia vào lực lượng chiếm đóng phía Bắc Sumatra vào ngày 12 tháng 3 và chiếm đóng quần đảo Andaman vào ngày 23 tháng 3. Trong cuộc không kích Ấn Độ Dương, cùng với các tàu tuần dương Kumano và Suzuya, Shirakumo được ghi công đánh chìm năm tàu buôn. Từ ngày 13 đến ngày 22 tháng 4, Shirakumo đi ngang qua Singapore và vịnh Cam Ranh quay trở về Xưởng hải quân Kure để bảo trì.[6]

Trong thời gian diễn ra trận Midway, Shirakumo nằm trong thành phần của lực lượng chiếm đóng quần đảo Aleut. Đến tháng 7 năm 1942, Shirakumo lên đường từ Amami-Oshima đến quân khu bảo vệ Mako, Singapore, Sabang và Mergui nhằm chuẩn bị cho một cuộc không kích Ấn Độ Dương thứ hai. Kế hoạch này bị hủy bỏ do việc lực lượng Đồng Minh đổ bộ lên Guadalcanal, và Shirakumo được gửi đến Truk. Từ tháng 8 trở đi, Shirakumo được sử dụng cho các nhiệm vụ "Tốc hành Tokyo", những chuyến đi vận chuyển tốc độ cao, trong khu vực quần đảo Solomon. Vào ngày 28 tháng 8, sau khi một nhiệm vụ vận chuyển binh lính đến Guadalcanal bị hủy bỏ, Shirakumo bị hư hại nặng ởi một cuộc không kích của máy bay ném bom bổ nhào Mỹ, khi một quả bom ném trúng phòng động cơ đã khiến nó chết đứng giữa biển, cho dù chỉ có hai thủy thủ bị thương. Nó được tàu khu trục Amagiri, rồi tiếp đó là tàu rải mìn Tsugaru kéo về đảo Shortland, và từ đây được tàu chở dầu Koa Maru kéo về Truk để được sửa chữa khẩn cấp, để nó có thể quay về Kure bằng chính động lực của mình vào ngày 8 tháng 10.[8]

Khi công việc sửa chữa hoàn tất vào ngày 1 tháng 4 năm 1943, Shirakumo được điều về Hải đội Khu trục 9 của Đội khu trục 1 thuộc Hạm đội 5 Hải quân Đế quốc Nhật Bản, và được phân công tuần tra và hộ tống tại vùng biển ngoài khơi Hokkaidō và quần đảo Kurile. Vào ngày 6 tháng 6 năm 1943, nó va chạm với tàu khu trục Numakaze trong sương mù dày đặc ngoài khơi Paramushiro, và bị buộc phải quay về Hakodate để sửa chữa. Công việc này chỉ hoàn tất vào cuối tháng 9, khi nó tiếp tục các cuộc tuần tra và hộ tống tại vùng biển phía Bắc.

Ngày 16 tháng 3 năm 1944, sau khi rời Kushiro, Hokkaido cùng một đoàn tàu vận tải chuyển binh lính hướng đến đảo Uruppu, Shirakumo trúng phải ngư lôi phóng từ tàu ngầm Mỹ USS Tautog ở cách 315 km (170 hải lý) về phía Đông Muroran, tọa độ 42°25′B 144°55′Đ / 42,417°B 144,917°Đ / 42.417; 144.917Tọa độ: 42°25′B 144°55′Đ / 42,417°B 144,917°Đ / 42.417; 144.917. Shirakumo chìm hầu như ngay lập tức và không có người nào sống sót.[9]

Vào ngày 31 tháng 3 năm 1944, Shirakumo được rút khỏi danh sách Đăng bạ Hải quân.[5]